[🤗 강좌 6.3] "빠른(fast)" 토크나이저의 특별한 능력

이것은 딕셔너리의 하위 클래스이지만(이것이 이전에 우리가 문제없이 해당 결과를 색인화할 수 있었던 이유입니다), 빠른 토크나이저에서 주로 사용하는 추가 메서드가 있습니다. AutoTokenizer 클래스는 기본적으로 빠른 토크나이저를 선택하므로 이 BatchEncoding 객체가 제공하는 추가 메서드를 사용할 수 있습니다. 또한 word_ids() 메서드를 사용하여 각 토큰이 유래된 해당 단...

fast tokenizerfast tokenizer